0.   引言

矿井火灾作为煤炭开采行业面临的主要安全隐患之一，严重影响了煤矿的安全生产环境 ^[1] 。矿井火灾分为内部原因引发的火灾（内因火灾）和外部因素引起的火灾（外因火灾）两大类 ^[2] 。内因火灾通常发生在已开采区域，由于煤炭等易燃物质与氧气接触发生自燃现象。外因火灾则源于井下的胶带与滚筒及托辊之间的摩擦生热、电缆和电气设备过载运行、漏电或短路现象、焊接作业、违章爆破操作及瓦斯和煤尘的爆炸等产生的明火 ^[3-6] 。

为了应对矿井外因火灾，目前主要采用的监测手段包括但不限于烟雾、温度及气体（如二氧化碳、一氧化碳、氧气）传感器监测、光纤分布式温度监测系统及基于图像分析的矿井外因火灾监测等 ^[7-12] 。其中，传感器监测方式虽然能够提供精确的数据，但其监测范围有限，对于远离火源位置的传感器来说，存在较大的延迟，且多点布设传感器不仅增加了成本，也加大了后期维护的工作量 ^[13] 。光纤分布式温度监测系统，初期投资和维护成本高，空间分辨率与测量距离难以兼顾，长距离监测时精度不足；易受环境噪声、应变和温湿度干扰。基于图像分析的矿井外因火灾监测方法具有监测范围广、成本低、可视化等特点 ^[14-15] ，但矿井环境中存在多种光源（如照明设备、电气设备等），这些光源可能产生与火源相似的形状特征，对火源识别产生了干扰 ^[16] 。除此之外，胶带摩擦等其他发热源同样会干扰对火源的识别^[17-18]。针对干扰对图像质量的影响，孙继平等 ^[19]通过图像的内凹度解决干扰光源影响火灾识别问题，但对于引燃这些没有明显火源特征的初期火源难以判断。刘汝琪 ^[20] 通过基于多模态图像的火灾监测算法将红外与可见光图形特征融合，综合判断弥补单模态图像监测中的不足，但其没有完全利用温度信息进行火源判定。

针对上述问题，本文提出一种基于双光谱成像技术的矿井早期火源识别及抗干扰方法（以下简称双光谱成像方法），通过结合可见光的图像信息与红外的温度信息，提高了矿井火源在有干扰源情况下的识别准确率，并通过试验验证了该方法的可行性。

1.   双光谱火源识别方法

双光谱成像方法流程如图1所示。

图  1  双光谱成像方法流程

Figure  1.  Process of early fire source identification and anti-interference method for mines based on dual spectrum imaging

下载: 全尺寸图片 幻灯片

首先，当双光谱火源识别系统监测到火源时，将可见光摄像头和红外摄像头拍摄到的火源图像进行剪裁。然后，采用Canny算法边缘化含有火源的图像，并分别存储到可见光疑似火源边缘列表和红外疑似火源边缘列表。最后，采用pHash（感知哈希）算法对可见光图像与红外图像中的疑似火源区域进行海明距离计算，当可见光火源与红外火源的海明距离在全部配对中达到最小值且该值小于25时，判定两者表征同一火源目标，并分别将它们移出可见光疑似火源边缘列表和红外疑似火源边缘列表，发出火源预警，列表内剩下的疑似火源之间的海明距离均大于25，将可见光疑似火源边缘列表剩下的疑似火源判断为光源干扰源，将红外疑似火源边缘列表剩下的疑似火源判断为热源干扰源，由于高温热源同样是矿井火灾的诱因之一，对其也进行火源预警。

1.1   双光谱成像技术原理

双光谱成像技术的互补性源于可见光与红外波段在成像原理及物理特性上的本质差异。可见光光谱可有效识别火源的化学发光特征，但会规避非燃烧热源；红外热成像通过温度异常监测突破烟雾遮蔽限制，同时可检测非燃烧热源。两者通过联合决策形成时空维度互补。

从电磁辐射机制来看，可见光成像（400～700 nm）主要依赖物体表面反射的环境光信息，其辐射强度遵循朗伯余弦定律，能够精确表征火源的几何形态、纹理细节及颜色特征。而红外热成像（8～14 μm）则基于普朗克黑体辐射定律，能够精确表征火源的温度。

式中：M 为单位面积上的总辐射能量；ε为物体的发射率[0，1]，表示物体辐射能力相对于理想黑体的比例；σ为斯蒂芬−玻尔兹曼常数，σ=5.67×10⁻⁸ W·m⁻²·K⁻⁴；T为绝对温度。

从化学特性层面来看，火源燃烧产生的碳氢化合物自由基在可见光波段会激发CH*/C₂*（指燃烧过程中产生的碳氢化合物自由基的激发态）特征辐射（430 nm蓝光带、515 nm绿光带），而燃烧释放的热量在红外波段形成显著热辐射梯度（ΔT≥50 K）。

1.2   基于YOLOv10的可见光火源识别

YOLOv10是基于Ultralytics框架开发的实时目标检测模型，通过消除非最大值抑制（Non Maximum Suppression，NMS）并优化模型架构^[21]，解决了先前YOLO版本的后处理和计算效率问题，在火源检测任务中实现了更优的精度−延迟平衡。本文采用百度飞浆平台的2 059张火源图像进行训练与测试，结果表明YOLOv10在该数据集上的准确率、召回率、mAP@0.5（交并比阈值为 0.5的平均精度均值）分别为92.41%，90.79%，95.93%，验证了其在火源监测场景中兼具高精度与低计算开销的优势，适用于火源实时监测需求。

1.3   基于温度场的红外火源识别

当物质燃烧时，燃烧过程不仅释放出可见光，还会产生大量的热能，这些热能以红外辐射的形式散发出去，通过红外光得到物体表面温度。

在矿井环境中，火源的温度与周围环境的温度存在显著差异。通常情况下，普通火源的温度大约在400～1 600 ℃。在矿井中，环境温度很少超过35 ～40 ℃，基于该特性将温度大于40 ℃的物体判断为高温热源。

通过红外摄像头可以得到温度矩阵T₀，并通过该温度矩阵的最高值和最低值指定渲染图像的颜色上下限，将温度最高值渲染成白色、温度最低值渲染成黑色。

由于火源由外焰到焰心，温度是递减的，这就会导致温度矩阵在渲染成图像的过程中火源整体颜色不一，使边缘化的结果存在多层边缘，为避免上述情况，在对温度矩阵渲染成图像时，需要对其进行二值化。将温度矩阵大于40的数值全部设为温度最高值，渲染效果对比如图2所示。应用Canny算法进行边缘化红外渲染结果如图3所示。

图  2  渲染效果对比

Figure  2.  Rendering effect comparison

下载: 全尺寸图片 幻灯片

图  3  边缘化红外渲染效果

Figure  3.  Edge infrared rendering effect

下载: 全尺寸图片 幻灯片

由图2可看出，温度矩阵的红外渲染图中火源内外颜色不一。二值化后的红外渲染图中火源整体明亮。由图3可看出，直接对红外渲染图进行边缘化，得到的火源边缘图是多层的，对二值化后的红外渲染图进行边缘化，得到的火源边缘图是单层的。

通过上述的红外数据处理，可以将温度矩阵转化成单层火源边缘图。这与通过可见光摄像头得到的火源边缘图是高度相似的，避免了因成像原理不同造成的颜色、形状上的差异。

1.4   基于边缘判定的双光谱火源判别

由于通过可见光识别的结果可能是光源，红外识别的结果可能是热源，所以只通过单模态的信息判定为火源并不可靠，因此需要将其识别的火源部分进行二次判定，当可见光识别的结果和红外识别的结果为同一物体，则判定其为火源；如果不是，则为干扰光源和干扰热源。

可见光与红外拍摄到的火源图像在颜色上、形状上都有差异，红外拍摄到的火源有明显的内外焰的颜色区别，且火源上的加热气流也会显示出来。可见光拍摄到的火源整体颜色相对统一，观察不到火源上方的加热气流，如图4所示。由于差异性较大，无法直接通过传统的相似度算法判断可见光识别的结果和红外识别的结果是否为同一火源。

图  4  红外与可见光图像对比

Figure  4.  Comparison of infrared and visible images

下载: 全尺寸图片 幻灯片

为准确衡量红外和可见光图像的相似度，需对红外和可见光图像进行预处理，消除差异性。采用pHash算法对提取到的火源边缘图像进行相似度计算。pHash是一种将图像转换为固定长度的哈希值算法，这种哈希值能够反映图像的视觉内容而非其字节内容，非常适合可见光和红外边缘图像相似度的计算，因为它们的边缘图像的像素字节并不是一一对应的，只是视觉内容形状相似。

2.   实验研究

2.1   实验设计

选取红色蜡烛，用于模拟矿井火灾发生时的早期火源，通过平面镜的火源镜像模拟矿井下的干扰光源，将80 ℃热水注入透明塑料瓶，作为红外摄像机的热干扰源，可见光摄像机和红外光摄像机作为实验器材， 在同一距离分别摆放蜡烛、平面镜、干扰热源，如图5所示。

图  5  实验器材摆放

Figure  5.  Experimental equipment placement

下载: 全尺寸图片 幻灯片

图形处理单元（GPU）选用NVIDIA GeForce RTX 4080S，中央处理器（CPU）为Intel Core i7−14700。红外检测模块搭载海康HM−TD2B28T−7/T1机芯，可见光识别系统在1 920×1 080分辨率下可实现60帧/s的处理能力，其运算核心为RTX 4080S GPU；红外识别系统则在256×192分辨率下保持25帧/s的检测频率，由HM−TD2B28T−7/T1机芯独立完成数据处理。

2.2   火灾图像识别

2.2.1   可见光图像火源识别

将可见光摄像机拍摄的图像输入先前训练好的YOLOv10模型，如图6所示。可看出由于蜡烛的火源与镜子里的映像视觉信息几乎一样，都将其识别为火源。由此可见，仅通过视觉信息很难判断火源与干扰光源。

图  6  可见光识别火源

Figure  6.  Visible light identification of fire source

下载: 全尺寸图片 幻灯片

为了进一步判断火源，将YOLOv10模型所有判断为火源的目标框裁剪出来，应用Canny算法提取边缘图像，如图7所示。可看出镜子里的火源镜像受镜子反射角度、距离等影响，映射火源边缘图与实际火源边缘图不相像。

图  7  可见光边缘图

Figure  7.  Visible light edge image

下载: 全尺寸图片 幻灯片

2.2.2   红外图像火源识别

将红外摄像机拍摄的图像输入温度场火源识别算法中，如图8所示，为保证热成像图清晰，本实验渲染采用温度越低颜色越黑红、温度越高颜色越亮红。可看出由于高温干扰源的存在，注入热水的透明塑料瓶被误判为火源，因此，仅通过温度信息很难判断火源与干扰热源。

图  8  红外识别火源

Figure  8.  Infrared fire detection

下载: 全尺寸图片 幻灯片

由图6与图8（b）的对比可知，可见光图像中难以观测到焰心区域，而红外图像中却能清晰呈现完整的焰心结构。这种现象源于火源不同区域的热辐射特性差异，使得红外成像设备能够有效捕获焰心的热辐射特征。这种辐射特性的本质差异，导致同一燃烧源在可见光与红外成像系统中呈现出截然不同的形态特征。

为了进一步判断火源，对红外图像进行二值化操作，结果如图9所示，可看出瓶子中的热水变得整体明亮起来，内外焰颜色不一的火源也变得整体明亮。二值化前后边缘提取对比如图10所示，可看出在没有进行二值化之前，瓶子中的热水边缘不完整，火源的内外焰分层且轮廓不完整。二值化之后，热水和火源的轮廓清晰完整且火源为单层轮廓。

图  9  图像二值化对比

Figure  9.  Image binarization comparison

下载: 全尺寸图片 幻灯片

图  10  二值化前后边缘提取对比

Figure  10.  Comparison of edge extraction before and after binarization

下载: 全尺寸图片 幻灯片

将温度场火源识别算法所有判断为火源的目标框裁取出来，应用Canny算法提取边缘图像，如图11所示。可看出尽管高温物体都被暂判定为火源，但其形状差异性很大，可通过相似度进一步分析。

图  11  红外边缘图

Figure  11.  Infrared edge images

下载: 全尺寸图片 幻灯片

2.2.3   双光谱火源识别

红外图像可以用于监测温度和温度分布，不过其准确性可能受到拍摄距离、煤矿粉尘、周围环境的温度与湿度及目标表面的发射特性等因素的影响。当有其他高温源靠近红外摄像头时，可能会对火灾的识别造成干扰。而通过可见光图像则能捕捉到火源的颜色、形态、亮度、摇曳情况及覆盖范围的变化等信息，然而矿井中的灯光、隧道照明、车辆灯光或红色物品等都可能影响到火源判断的准确性。

为进一步提高火源识别的准确率，应用pHash算法对提取的可见光和红外火源边缘图进行相似度计算。将图像尺寸缩小到8×8像素，以减少计算量并去除高频信息。应用离散余弦变换提取缩小后的图像的主要频率特征，将像素特征矩阵转化为频率特征矩阵，以增加鲁棒性。

式中：X_uv为变换后的频率矩阵，表示在频率在 u（水平方向）和 v（垂直方向）处的分布；α（u） α（v）为归一化因子，用于确保变换矩阵的正交性；z_xy为图像像素值的原始数据，x和y为空间坐标；p和q分别为矩阵的行数和列数。

通过式（3）将火源边缘图转化为8×9的频率矩阵X₀，由左上到右下代表着由低频到高频，其中频率系数的正负与图像中亮度的变化方向相关，系数的绝对值表示对应频率的能量，数值越大，该频率成分在原始信号中的能量越强。数值越接近0，该频率成分的能量越弱，如X₀所示，左上角数值偏大，右下角数值偏小，说明该图整体噪声小，整体结构和主要特征明显。

低频成分包含了图像的主要信息，如整体结构和平均亮度；高频成分包含了图像的细节和噪声。由于红外和可见光拍摄的图像细节本身就不一样，所以仅保留红外和可见光频率矩阵8$ \times $8的低频部分来判断相似度。X₁为可见光火源低频部分，X₂为红外火源低频部分，从X₁和X₂中可以观察到，2个矩阵数值变化相同，呈现左上角数值高，右下角数值低，,且每个频率成分数值范围相同。

为进一步确定各个频率成分是否相似，将得到的火源低频矩阵代入到Hash函数。

式中：H（C）为Hash函数；C为矩阵元素；$ \stackrel{-}{C} $为低频矩阵均值。

将X₁和X₂代入H（C）得到要进行比较的图像的哈希值A和B，其中A与B的元素与频率矩阵的元素一一对应，例如A与B的第1位都为1，代表X₁和X₂频率矩阵的左上角第1个值是相似的，第2位都为0，表示对应的频率成分也是相似的，第三位A为0，B为1则该频率成分不相似。为判断整体的相似度，进一步应用海明距离进行整体相似度的比较。

式中：$ {A}_{i}{，B}_{i} $ 为哈希值的每一位；$ \oplus $为异或计算。

由于低频矩阵的大小为8$ \times $8，所以得到的哈希值为64位，海明距离的值域为[0,64]。其中海明距离为0代表低频矩阵的哈希值每一位都相等，也就是2张图像每一部分都相似，与之相反，海明距离为64代表每一部分都不相似。

为定量判断相同火源，对火源相似度进行标定，通过Python的turtle函数库生成100组随机的闭合曲线，设生成随机曲线步数为100、随机长度为[1，3]、随机角度为[−45，45]，生成随机曲线模拟疑似火源，如图12所示。

图  12  随机曲线

Figure  12.  Random lines

下载: 全尺寸图片 幻灯片

在5 s内，对同一火源目标进行同步影像采集，分别获取可见光图像20张（图13左栏展示其中1张代表性画面）、红外图像20张（图13右栏），构建双光谱火源边缘图数据集。

图  13  双光谱火源边缘图数据集

Figure  13.  Dual spectrum fire source edge image dataset

下载: 全尺寸图片 幻灯片

选取双光谱火源边缘图中1张可见光火源图像作为比较样本，通过pHash算法分别计算比较样本与可见光火源图像库（20张）、红外火源图像库（20张）及随机曲线（100张）之间的海明距离，如图14所示。

图  14  海明距离标定

Figure  14.  Hamming distance calibration

下载: 全尺寸图片 幻灯片

由图14可看出，I₁—I₂₀的海明距离在[0，25]内，较相同火源可见光海明距离值增大，说明相似度下降了，这是因为红外和可见光的边缘图像本身就有微小的不同，通过该组标定得到，当可见光与红外图像中火源的海明距离≤25时，可判定其为同一火源。R₁—R₁₀₀的海明距离在[30，64]内，较相同火源红外图海明距离值大幅度增大，说明图像之间差异度很大，符合随机曲线本身就与可见光火源图像形状完全不相同，通过该组标定，当可见光与红外图像中火源的海明距离>25时，不为同一物体。

通过上述分析可知：若可见光与红外图像中火源的海明距离最小且≤25，则判定为同一火源；其余未匹配区域则归类为光源或热源干扰。

2.2.4   双光谱火源识别多工况对比

为更接近现场火源，在中国矿业大学文昌校区火灾实验室，采用正庚烷燃烧模拟火灾现场，拍摄50张火源图像进行验证，部分验证集图像数据如图15所示。

图  15  部分火源验证集

Figure  15.  Partial fire source validation set

下载: 全尺寸图片 幻灯片

为了验证双光谱成像方法在实际任务的有效性，在验证集上与现有的目标监测方法进行比较，结果见表1。可看出在无粉尘无干扰源工况下，双光谱成像方法的准确率与召回率均高于YOLOv10，这是因为双光谱成像方法将温度信息作为额外的输入，对于一些小火源或者形状差异大于训练集的火源，也能进行捕捉，不依赖于训练集，而YOLOv10对训练集的依赖性很高。

表  1  无粉尘无干扰源下火源监测方法对比结果

Table  1.  Comparison of fire source monitoring method under conditions without dust or interference %

方法	准确率	召回率
YOLOv10	0.97	0.86
双光谱成像方法	0.98	0.94

下载: 导出CSV 

| 显示表格

为模拟井下恶劣环境（粉尘、湿度）对方法的影响，将训练集的图像数据进行随机像素去除处理，处理效果如图16所示。

将YOLOv10、多模态、双光谱成像方法分别用于粉尘条件下火源验证集，结果见表2。可看出双光谱成像方法在浓度大于99%之前，抗粉尘的干扰能力最强，多模态次之，YOLOv10最弱，这是因为YOLOv10仅依靠可见光，当其信息被破坏一部分，与训练集样本差异逐渐变大导致精度下降；多模态融合将红外的光学信息补全到可见光光学信息里，在粉尘浓度不大的情况下可以修复被破坏一部分，在粉尘浓度大于33%后，一大部分像素点失效，最后融合图像损失信息增加导致精度下降；双光谱成像方法是在红外转化光学信息前，进行温度连通区域判断，只要高温部分的像素点有部分留存，就能监测到高温热源。

图  16  粉尘条件下部分火源验证集

Figure  16.  Partial fire source validation set under dust conditions

下载: 全尺寸图片 幻灯片

表  2  粉尘条件下火源识别方法对比结果

Table  2.  Comparison of fire source monitoring method under dust conditions %

方法	粉尘浓度33%			粉尘浓度 66%			粉尘浓度 99%
	准确率	召回率		准确率	召回率		准确率	召回率
YOLOv10	0.70	0.58		0.40	0.25		0	0
多模态图像融合	0.70	0.72		0.50	0.40		0	0
双光谱成像方法	0.85	0.80		0.70	0.65		0	0

下载: 导出CSV 

| 显示表格

3.   结论

1） 由于火源和红外的图像成像原理不同，导致图像差异性很大，通过Canny算法和图像二值化预处理，统一可见光与红外图像的边缘特征，从而利用pHash算法计算海明距离，实现火源相似度的判定。

2） 通过海明距离的标定，得到在海明距离≤25时，可以认为红外与可见光中的火源为同一火源，进行预警，对于海明距离判定后剩下的图像均为光源或热源。双光谱成像方法可以有效对高温热源、光源、火源进行区分并进行对应的预警。

3） 在矿井粉尘条件下，双光谱成像方法在浓度大于99%之前，抗粉尘的干扰能力最强。在粉尘覆盖摄像头表面33%时，准确率为85%，召回率为80%，粉尘覆盖摄像头表面66%时, 准确率为70%，召回率为65%。